Sqoop工具从hive导出数据到MySQL踩坑记 |
您所在的位置：网站首页 › sqoop mysql › Sqoop工具从hive导出数据到MySQL踩坑记 |
|
这两天有一个需求如文章题目所示，要把之前从mysql数据库导出到hive上的数据再反向操作导到mysql，具体用途就是生产mysql数据库会备份到hive，然后想通过hive把生产数据导入到测试环境。 sqoop我就不具体介绍了，直接上命令 sqoop export \ --driver com.mysql.jdbc.Driver \ --connect jdbc:mysql://10.2.123.115:3306/local4gome?characterEncoding=UTF-8 \ --table t_replenishment \ --username root \ --password 'esns' \ --fields-terminated-by '\0002' \ --export-dir /stage/supplycenter/gyl/t_replenishment_cb_biz/20190516其他的没啥好说的，不懂的可以google。这里主要分享一个坑： ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80) at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)从命令行执行输出日志根本看不出具体的原因，这个时候需要首先到hadoop任务平台查看任务详细日志 image.png Caused by: java.lang.RuntimeException: Can't parse input data: '1��201903�2��R17�相机��00383�尼康���xietianxu�2019-03-21 16:53:43���liangchen�2019-03-21 17:23:08����1��SY00, QD00������1�COMPLETED�SUB_ORG�3C事业部�3C事业部�' at t_buying_process.__loadFromFields(t_buying_process.java:2030) at t_buying_process.parse(t_buying_process.java:1668) at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:89) ... 10 more Caused by: java.lang.NumberFormatException: For input string: "1��201903�2��R17�相机��00383�尼康���xietianxu�2019-03-21 16:53:43���liangchen�2019-03-21 17:23:08����1��SY00, QD00������1�COMPLETED�SUB_ORG�3C事业部�3C事业部�" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:580) at java.lang.Integer.valueOf(Integer.java:766) at t_buying_process.__loadFromFields(t_buying_process.java:1721)从java.lang.NumberFormatException: For input string这句异常可以看出是分割字段错误，将很多字段识别成了一个字段，以至解析第一个int类型的id字段报错。 这个时候我们需要确定hive存在hdfs文件中的每行的字段分隔符到底是什么。 一开始使用了一个错误的方法，得到了错误的分隔符：^I（通过查ASCII码得其是9，八进制0011） hive -e "select * from stage.t_buying_process_cb_biz limit 10" >> res image.png于是我在命令中使用 --fields-terminated-by '\0011' #八进制，9，即^I当然，不出所料，失败了。我还使用过tab分隔符 --fields-terminated-by '\t'最后，我把hdfs上的hive文件下载了下来，最终发现分隔符是^B（ASCII码是8，八进制002） hadoop fs -get /stage/supplycenter/supply_cp/t_buying_process_cb_biz/20190516 . image.png于是把脚本中指定的分隔符换成了^B，最终终于成功了！结论就是一定要下载文件确定真正的字段分隔符！ --fields-terminated-by '\0002' \哈哈，发现也可以以在线的方式查看hive文件分隔符 # 因为我这里hive存储使用了bz2的方式压缩，所以使用管道bzip2 -d进行了解压缩 hadoop fs -cat /stage/supplycenter/gyl/t_replenishment_cb_biz/20190519/dbc__13b3ae19_5ee4_4e1e_8038_b4f186292d68.bz2 | bzip2 -d | head -n 10 | cat -A从输出可以看到，分隔符依然是^B 225483485^B^BGMZB^BR23^B00112^B000000000100019581^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$ 225483486^B^BGMZB^BR23^B00112^B000000000100019581^B0^B2^B0.000^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0002^B$ 225483487^B^BGMZB^BR23^B00112^B000000000100019581^B0^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0002^B$ 225483488^B^BGMZB^BR23^B00112^B000000000100019581^B1^B1^B^B0.000^B^B0^B0.000^B^B^B1.011^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0001^B$ 225483489^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B^B0.000^B^B0^B0.000^B^B^B4.187^B0.000^B0.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$ 225483490^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B4^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0001^B$ 225483491^B^BGMZB^BR23^B00112^B000000000100019581^B1^B2^B0.000^B0.000^B^B0^B2.167^B6.000^B3^B0.293^B18.000^B10.000^B8^B4^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0002^B$ 225483492^B^BGMZB^BR19^B00080^B000000000100025235^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$ 225483493^B^BGMZB^BR19^B00080^B000000000100025235^B0^B1^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B1^B2019-05-09 11:17:43^B1^B0002^B$ 225483494^B^BGMZB^BR19^B00080^B000000000100025235^B0^B2^B^B0.000^B^B0^B0.000^B^B^B0.000^B0.000^B0.000^B8^B1^B0.000^B0^B0^B2019-05-09 11:17:43^B1^B0001^B$补充：很遗憾，sqoop export不支持query以及where参数，import倒是支持。 以下参数命令将空串''转换为NULL存到数据库 --input-null-string '' |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |